Andronikos III kết hôn lần đầu tiên vào năm 1318 với Irene xứ Brunswick, con gái của Henry I, Công tước Brunswick-Lüneburg; bà mất vào năm 1324. Họ còn có một đứa con trai không rõ tên, chết ít lâu sau khi mới sinh vào năm 1321.

Andronikos III kết hôn lần thứ hai vào năm 1326 với Anna xứ Savoy. Bà là con gái của Bá tước Amadeus V, Bá tước Savoy và người vợ thứ hai Maria xứ Brabant. Họ có với nhau mấy đứa con gồm:

• Ioannes V Palaiologos
• Mikhael Palaiologos, despotes
• Maria (đổi tên thành Eirene) Palaiologina, kết hôn với Hoàng đế Michael Asen IV của Bulgaria
• Eirene Palaiologina (đổi tên thành Maria), kết hôn với Francesco I đảo Lesbos

Theo nhà sử học Nicephorus Gregoras, Andronikos còn có một cô con gái ngoài giá thú là Irene Palaiologina xứ Trebizond. Bà kết hôn với Basil xứ Trebizond và chiếm ngai vàng của Đế quốc Trebizond từ năm 1340 đến 1341.[3] The Dictionnaire historique et Généalogique des grandes familles de Grèce, d'Albanie et de Constantinople (1983) của Mihail-Dimitri Sturdza còn thêm một đứa con gái ngoài giá thú thứ hai của Andronikos, chuyển đổi sang đạo Hồi dưới cái tên Bayalun. Theo như sử liệu ghi chép thì bà là một trong những bà vợ của Uzbeg Khan của Kim Trướng hãn quốc.[4] Cô con gái này không được liẹt kê trong thư tịch cổ Europäische Stammtafeln: Stammtafeln zur Geschichte der Europäischen Staaten (1978) của Detlev Schwennicke và sự tồn tại của Irene có thể tac động đến các lý thuyết của Sturdza.[5]